Visual Grounding in Zero-Shot Vision-Language Control
零样本视觉-语言控制中的视觉接地评估与守护
🧭 VLM视觉接地评估与选择性辅助守护
BARCELONA Supercomputing Center · Universidad Pontificia Comillas · University of Florida · University of Illinois Urbana-Champaign · LUXEMBOURG Institute of Science and Technology
输入消融实验揭示VLM零样本控制普遍缺乏视觉接地，对称共识守护者实现可靠危险检测。
📌 工作参考价值（3 点）
- 对称一致性守卫：利用原始与反射视图的预测一致性筛选可靠模型，此法可迁移至多模态推荐——对商品图片做水平翻转等增广，检查模型预测是否对称，剔除不一致的弱模型，提升鲁棒性。
- 输入消融诊断：盲图、重复帧、反射对照组能暴露模型是否真正利用视觉信息。可仿照设计线上诊断流程，排查推荐模型中的模态依赖假象。
- 选择性弃权策略：在低置信度时弃权，牺牲少量覆盖换取大幅精度提升，适合电商风控或内容审核等高风险场景，结合阈值动态开关辅助决策。